混合語言之語音的語言辨認 (Language Identification on Code-Switching Speech) [In Chinese]

以高斯混合模型表徵器與語言模型為基礎之語言辨認 (Language Identification based on Gaussian Mixture Model Tokenizer and Language Model) [In Chinese]

基於半監督式學習之廣播節目語音逐字稿自動轉寫系統 (Automatic Transcription of Broadcast Radio Speech Based on Quality Estimation-Guided Semi-Supervised Training) [In Chinese]

廣播節目製作時通常只有收錄語音訊號,沒有保留相對應的節目內容詮釋資料 (metadata),導致節目播出後,很難檢索節目內容,或是加以組織再利用。針對此問題, 常用的方法是以語音辨認器,自動轉寫廣播節目內容,產生語音逐字稿,但是目前缺乏 已標記好的廣播語音語料庫,因此無法訓練出適合轉寫廣播節目的語音辨識器。所以在 本論文中,我們探討如何同時使用語音訊號特徵參數、辨認器辨認結果與語言模型參數, 訓練一語音品質估算(Quality Estimation,QE)器,取代傳統只依賴語音辨認器的信心值 估算(Confidence Measure),從源源不絕,但未標記的大量廣播語料中,挑選適合訓練 語音辨認器的語料,進行半監督式聲學模型訓練,以提升轉寫廣播語料逐字稿的效能。 實驗中以一不佳錄音品質 NER-set1 與一優良 NER-set2 之廣播節目測試語料集,測試種 子語音辨認器與經半監...

利用聲學與文脈分析於多語語音辨識單元之產生 (Generation of Phonetic Units for Multilingual Speech Recognition Based on Acoustic and Contextual Analysis) [In Chinese]

摘要 由於全球化趨勢之盛行,多語語音常出現於會議紀錄及一般對話等方面。對於會議紀錄及對話系統而 言,多語語音自動辨識日顯重要。在多語語音自動辨識中,辨識單元集之定義及選取,將影響辨識之效率 及效能。本論文針對中英文利用 IPA 定義之多語語音辨識單元集,考慮前後文相關之三連音模型,並進一 步透過對聲學相似度與前後文脈分析,決定一組精簡有效的多語辨識單元。在相似度矩陣分析中,首先我 們利用事後機率統計,建立聲學相似度矩陣,然後,基於發音共聲現象的考量,分析語音發音上之相似度。 本論文更引入語言超空間相似度之觀念,計算三連音辨識單元前後文脈之關係,建立語言超空間相似度矩 陣。最後利用資料融合技術,合併聲學相似度矩陣和語言超空間相似度矩陣,以計算三連音辨識單元間之 距離,而後利用向量量化群集方法合併相似性高之三連音辨識單元,建立一個有效的多語語音辨識單元 集。本論文以 EAT 中英雙語語料...

華台雙語發音變異性之語音辨識研究及PDA之應用 (The study of pronunciation variations in Mandarin and Taiwanese and its application in PDA) [In Chinese]

本篇論文提出一種方法來有效的處理華台雙語同時存在於同一句話的語音辨識 問題。主要的核心可分為三部分;一.聲學模型:此部分是用一個共同的標音系統,使相同 的發音的標音在不同語言上能夠做語料的分享,而且在語音特徵擷取上也加上聲調的參 數,以減少華字與音節間的混淆。二.發音模型:此部分是結合了以專家知識為主的發音辭 典與實際上語料分析結果而成變異發音,前者是統計了的華台雙語辭典的華字對音節發音 機率,找出一個華字在辭典上所有可能的發音;而後者是將音節的辨識結果做成發音對華 字的混淆機率。第三部份是將華字直接嵌入在語言模型中,作為搜尋的節點。之後用唐詩 300首的實驗,其針對目前台灣地區華台夾雜的語句,以及發音變異性的問題,都能確實降 低一成五到兩成的漢字相對錯誤率。最後將此技術移植到PDA上,也做了相關的應用。

基於增強式深層類神經網路之語言辨認系統(Reinforcement Training for Deep Neural Networks-based Language Recognition)[In Chinese]

本論文之目標要建立一個基於增強式學習之語言辨認系統,並參與 NIST LRE2015 評 比。語言辨認常受到其他相似的語系(out of set, OOS)使效能下降。為了能解決目標語言 與 OOS 極為相似與常用的訓練準則與實際應用情境偏離的情況,因此本論文提出新的 考慮 OOS 的 DNN 架構並使用 reinforcement learning (RL) 來做訓練,系統特色在於先 把 OOS 做細分,包括建立一個可同時辨認目標語言與所有 OOS 的 DNN 架構;以及將 整個任務分解成兩個輸出相乘的 DNNs,一個負責語言分群,一個負責區分目標與非目 標語言。所提出的系統皆以 LRE2015 規定的代價函數(越低越好)進行實驗比較,根據 LRE2015 評分結果,官方給定的 LDA 語言辨識系統,其分數為 39.033,使用傳統 DNN 其分數為 30.136,而使用本論文所提...